Theo nghiên cứu cuối thế kỷ 20, tổ tiên của Custer, Paulus và Gertrude Küster, là những người theo sau mười ba gia đình nhập cư người Đức đầu tiên từ Krefeld và khu vực xung quanh, đã di cư đến Bắc Mỹ khoảng năm 1693 từ vùng Rheinland của Đức, có thể là trong số hàng ngàn người tị nạn Lãnh địa Sức quân Tuyển hầu tước vùng Rhine mà qua sắp xếp bởi chính phủ Anh của Nữ hoàng Anne để được định cư. Họ tên của họ ban đầu đã được viết là "Küster".

Theo một cuốn sử chép về người Đức tại Hoa Kỳ (1909), tổ tiên nhập cư của Custer là một chiến binh Hesse chiến đấu cho thực dân Anh, ông đã được ân xá vào năm 1778 sau khi tướng Anh là John Burgoyne đầu hàng.

Mẹ của Custer là bà Marie Ward, ngay từ khi 16 tuổi bà đã kết hôn với Israel Kirkpatrick. Khi ông qua đời vào năm 1835, bà kết hôn với Henry Emanuel Custer vào năm 1836. Ông bà nội của bà Marie - George P. (1724-1811) và Mary Ward (Grier) (1733-1811) - là người gốc County Durham, Anh. Con trai của họ là James Grier Ward (1765-1824) sinh ra ở Dauphin, Pennsylvania, và đã kết hôn với Catherine Rogers (1776-1829). Con gái của họ là Marie Ward, đã trở thành mẹ của Custer. Catherine Rogers là con gái của Thomas Rogers và Sarah Armstrong. Theo thư từ của gia đình, Custer được đặt tên theo Mục sư George Armstrong, do cha ông rất ngoan đạo, luôn muốn con mình làm tăng lữ.[1]